|
|
1.
基于Spark的ItemBased推荐算法性能优化
廖彬, 张陶, 国冰磊, 于炯, 张旭光, 刘炎
计算机应用
2017, 37 (7):
1900-1905.
DOI: 10.11772/j.issn.1001-9081.2017.07.1900
MapReduce计算场景下，复杂的大数据挖掘类算法通常需要多个MapReduce作业协作完成，但多个作业之间严重的冗余磁盘读写及重复的资源申请操作，使得算法的性能严重降低。为提高ItemBased推荐算法的计算效率，首先对MapReduce平台下ItemBased协同过滤算法存在的性能问题进行了分析；在此基础上利用Spark迭代计算及内存计算上的优势提高算法的执行效率，并实现了基于Spark平台的ItemBased推荐算法。实验结果表明：当集群节点规模分别为10与20时，算法在Spark中的运行时间分别只有MapReduce中的25.6%及30.8%，Spark平台下的算法相比MapReduce平台，执行效率整体提高3倍以上。
参考文献 |
相关文章 |
多维度评价
|
|
